在本文中，我们介绍了McTensor，这是一个基于Pytorch的库，用于为DL培训提供通用和高精度算术。MCTENSOR的使用方式与Pytorch Tensor相同：我们为具有相同的Pytorch接口的MCTENSOR实施了多个基本的，矩阵级计算运算符和NN模块。我们的算法获得了高精度计算，并且还受益于重优化的Pytorch浮点算术算术。我们针对一系列任务评估了针对Pytorch天然算术的mctensor算术，其中使用float16中使用mctensor的模型将与float32或float64精度相匹配或优于pytorch模型。
translated by 谷歌翻译
机器学习（ML）的法律文献倾向于关注危害，因此倾向于推理个人模型结果和摘要错误率。这种关注模型级别的结果和错误掩盖了ML的重要方面，这些方面源于其固有的非确定性。我们表明，从关于ML输出作为可能结果的概率分布的推理的角度来看，非确定性的影响及其对法律的影响，对法律的影响变得更加清晰。这种分布观点通过强调ML的可能结果来解释非确定性。重要的是，这种推理并不是当前法律推理的独家性。它补充了（实际上可以加强）关于个人自动决策的个人，具体结果的分析。通过阐明非确定性的重要作用，我们证明了ML代码不在网络法线将“代码为法律视为法律”的框架之外，因为该框架假定代码是确定性的。最后，我们简要讨论了ML可以采取什么措施来限制非决定性造成危害的影响，并阐明法律必须在何处弥合其当前个人结果重点与分配方法之间的差距我们推荐。
translated by 谷歌翻译
尽管低精度优化已被广泛用于加速深度学习，但低精度抽样仍未得到探索。结果，尽管在许多大规模的情况下，采样是不可行的，尽管对神经网络的概括和不确定性估计给予了显着的好处。在本文中，我们提供了低精确的随机梯度Langevin Dynamics（SGLD）的首次研究，这表明其成本可以大大降低而无需牺牲性能，因为它的内在能力处理了系统噪声。我们证明，低精度SGLD与完全精确的梯度累加器的收敛性比在强凸设置中的SGD对应物的量化误差的影响较小。为了进一步启用低精度梯度蓄能器，我们为SGLD开发了一个新的量化功能，该功能保留了每个更新步骤中的差异。我们证明，低精确的SGLD与完整精确的SGLD相当，只有8位在各种深度学习任务上。
translated by 谷歌翻译
由于其几何特性，双曲线空间可以支持树木和图形结构化数据的高保真嵌入。结果，已经开发了各种双曲线网络，这些网络在许多任务上都超过了欧几里得网络：例如双曲线图卷积网络（GCN）在某些图形学习任务上的表现可以胜过香草GCN。但是，大多数现有的双曲线网络都是复杂的，计算昂贵的，并且在数值上不稳定 - 由于这些缺点，它们无法扩展到大图。提出了越来越多的双曲线网络，越来越不清楚什么关键组成部分使模型行为。在本文中，我们提出了HYLA，这是一种简单而最小的方法，用于在网络中使用双曲线空间：Hyla地图一次从双曲空空间从嵌入荷兰的嵌入到欧几里得空间，并通过双曲线空间中的Laplacian操作员的特征函数。我们在图形学习任务上评估HYLA，包括节点分类和文本分类，其中HYLA可以与任何图神经网络一起使用。当与线性模型一起使用时，HYLA对双曲线网络和其他基线显示出显着改善。
translated by 谷歌翻译
The need for data privacy and security -- enforced through increasingly strict data protection regulations -- renders the use of healthcare data for machine learning difficult. In particular, the transfer of data between different hospitals is often not permissible and thus cross-site pooling of data not an option. The Personal Health Train (PHT) paradigm proposed within the GO-FAIR initiative implements an 'algorithm to the data' paradigm that ensures that distributed data can be accessed for analysis without transferring any sensitive data. We present PHT-meDIC, a productively deployed open-source implementation of the PHT concept. Containerization allows us to easily deploy even complex data analysis pipelines (e.g, genomics, image analysis) across multiple sites in a secure and scalable manner. We discuss the underlying technological concepts, security models, and governance processes. The implementation has been successfully applied to distributed analyses of large-scale data, including applications of deep neural networks to medical image data.
translated by 谷歌翻译
Large language models (LLMs) have been shown to be able to perform new tasks based on a few demonstrations or natural language instructions. While these capabilities have led to widespread adoption, most LLMs are developed by resource-rich organizations and are frequently kept from the public. As a step towards democratizing this powerful technology, we present BLOOM, a 176B-parameter open-access language model designed and built thanks to a collaboration of hundreds of researchers. BLOOM is a decoder-only Transformer language model that was trained on the ROOTS corpus, a dataset comprising hundreds of sources in 46 natural and 13 programming languages (59 in total). We find that BLOOM achieves competitive performance on a wide variety of benchmarks, with stronger results after undergoing multitask prompted finetuning. To facilitate future research and applications using LLMs, we publicly release our models and code under the Responsible AI License.
translated by 谷歌翻译
在未知环境中的搜索和救援（SAR）需要精确，最佳和快速的决策。机器人是在未知环境中自主执行SAR任务的有希望的候选人。尽管人类利用启发式方法有效地处理不确定性，但在存在物理和控制约束的情况下，在存在的多个目标是需要机器计算的数学挑战。因此，对于SAR机器人，需要具有人为灵感和数学控制能力。此外，在大规模SAR任务中以很少的计算成本协调机器人的决策是一个开放的挑战。最后，在现实生活中，SAR机器人感知到的数据可能容易出现不确定性。我们引入了层次多代理控制体系结构，该体系结构利用了SAR机器人的非均匀和不完美感知能力，以及分散控制方法的计算效率和鲁棒性，以及集中控制方法的全球性能改善。所提出的控制框架的集成结构允许以协调和计算有效的方式将人类灵感和数学决策方法结合在一起。各种基于计算机的模拟的结果表明，虽然所提出的方法的面积覆盖范围与针对面向覆盖范围的SAR特别开发的现有启发式方法相媲美，但引入方法在定位被困受害者方面的效率显着更高。此外，随着相当的计算时间，提出的控制方法成功地避免了非合作方法中存在的潜在冲突。这些结果证实，所提出的多代理控制系统能够以平衡且协调的方式将面向覆盖率和目标的SAR组合在一起。
translated by 谷歌翻译
语言模型既展示了定量的改进，又展示了新的定性功能，随着规模的增加。尽管它们具有潜在的变革性影响，但这些新能力的特征却很差。为了为未来的研究提供信息，为破坏性的新模型能力做准备，并改善社会有害的效果，至关重要的是，我们必须了解目前和近乎未来的能力和语言模型的局限性。为了应对这一挑战，我们介绍了超越模仿游戏基准（Big Bench）。 Big Bench目前由204个任务组成，由132家机构的442位作者贡献。任务主题是多样的，从语言学，儿童发展，数学，常识性推理，生物学，物理学，社会偏见，软件开发等等。 Big-Bench专注于被认为超出当前语言模型的功能的任务。我们评估了OpenAI的GPT型号，Google内部密集变压器体系结构和大型基础上的开关稀疏变压器的行为，跨越了数百万到数十亿个参数。此外，一个人类专家评估者团队执行了所有任务，以提供强大的基准。研究结果包括：模型性能和校准都随规模改善，但绝对的术语（以及与评估者的性能相比）；在模型类中的性能非常相似，尽管带有稀疏性。逐渐和预测的任务通常涉及大量知识或记忆成分，而在临界规模上表现出“突破性”行为的任务通常涉及多个步骤或组成部分或脆性指标；社交偏见通常会随着含糊不清的环境而随着规模而增加，但这可以通过提示来改善。
translated by 谷歌翻译
放射线学使用定量医学成像特征来预测临床结果。目前，在新的临床应用中，必须通过启发式试验和纠正过程手动完成各种可用选项的最佳放射组方法。在这项研究中，我们提出了一个框架，以自动优化每个应用程序的放射线工作流程的构建。为此，我们将放射线学作为模块化工作流程，并为每个组件包含大量的常见算法。为了优化每个应用程序的工作流程，我们使用随机搜索和结合使用自动化机器学习。我们在十二个不同的临床应用中评估我们的方法，从而在曲线下导致以下区域：1）脂肪肉瘤（0.83）； 2）脱粘型纤维瘤病（0.82）; 3）原发性肝肿瘤（0.80）; 4）胃肠道肿瘤（0.77）； 5）结直肠肝转移（0.61）; 6）黑色素瘤转移（0.45）; 7）肝细胞癌（0.75）; 8）肠系膜纤维化（0.80）; 9）前列腺癌（0.72）； 10）神经胶质瘤（0.71）; 11）阿尔茨海默氏病（0.87）;和12）头颈癌（0.84）。我们表明，我们的框架具有比较人类专家的竞争性能，优于放射线基线，并且表现相似或优于贝叶斯优化和更高级的合奏方法。最后，我们的方法完全自动优化了放射线工作流的构建，从而简化了在新应用程序中对放射线生物标志物的搜索。为了促进可重复性和未来的研究，我们公开发布了六个数据集，框架的软件实施以及重现这项研究的代码。
translated by 谷歌翻译
目前，由精确的径向速度（RV）观察结果受到恒星活性引入的虚假RV信号的限制。我们表明，诸如线性回归和神经网络之类的机器学习技术可以有效地从RV观测中删除活动信号（由于星形/张图引起的）。先前的工作着重于使用高斯工艺回归等建模技术仔细地过滤活性信号（例如Haywood等人，2014年）。取而代之的是，我们仅使用对光谱线平均形状的更改进行系统地删除活动信号，也没有有关收集观测值的信息。我们对模拟数据（使用SOAP 2.0软件生成； Dumusque等人，2014年生成）和从Harps-N太阳能望远镜（Dumusque等，2015; Phillips等人2015; 2016; Collier训练）培训了机器学习模型。 Cameron等人2019）。我们发现，这些技术可以从模拟数据（将RV散射从82 cm/s提高到3 cm/s）以及从HARPS-N太阳能望远镜中几乎每天进行的600多种真实观察结果来预测和消除恒星活动（将RV散射从82 cm/s提高到3 cm/s）。 （将RV散射从1.753 m/s提高到1.039 m/s，提高了约1.7倍）。将来，这些或类似的技术可能会从太阳系以外的恒星观察中去除活动信号，并最终有助于检测到阳光状恒星周围可居住的区域质量系外行星。
translated by 谷歌翻译